Op korte loopafstand van het marktplein staat het historische kasteel van de hertogen van Brabant, gebouwd in de 12de eeuw. Oorspronkelijk was het een jachtverblijf van de eerste hertog van Brabant. Het werd in de loop der eeuwen regelmatig verbouwd, en vele beroemde (beruchte) heersers en historische figuren waren er te gast.
Op 1 maart 1546 krijgt Maria van Hongarije het land van Turnhout en het kasteel onder haar bevoegdheid van Keizer Karel. Zij liet de verdedigingsburcht ombouwen tot een paleis, het toenmalige 'Hof van plaisanterie'.
In het begin van de 80-jarige oorlog werd het meerdere keren gewisseld tussen een Spaanse en Nederlandse bezetting, tot de Nederlandse Prins Willem de noordkant van het kasteel, in 1597, in brand stak, en zo de militaire waarde van het geheel verdween.
Na tijden van voor- en tegenspoed raakte het kasteel in de 18de en 19de eeuw zodanig in verval dat het ondermeer als stadsmagazijn werd gebruikt. Het gebouw werd omstreeks het begin van de 20ste eeuw door de stad verkocht aan het provinciebestuur dat, na de oorlog van 1914-1918, het bouwwerk grondig liet restaureren in neobarokstijl door Jules Taeymans. Het kasteel biedt nu onderdak aan het gerechtshof en dit na een volledig nieuwe restauratie.